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Abstract of DE1 0056291 

The method involves manipulating the characteristics and/or actions of at least one displayed object using 
interactive control commands from a user, detected using sensors etc. The user may be able to navigate 
in a displayed screen. The information input by the user is acquired and processed using signal- or 
pattern recognition. No additional manually operable mechanical or touch-sensitive hardware devices are 
required for input of control commands. A virtual retinal display or head-mounted display may be used to 
display a virtual environment. 
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(57) Abstract: The invention relates to a 
method for graphically visualizing objects by 
means of which the objects represented on at 
least one visual field (203) are comfortably and 
reliably manipulated, controlled or influenced, 
with regard to their features and/or actions, 
by interactive control commands of a user. 
Technologies used for inputting the control 
commands issued by the user can, in addition 
to standard manually operable mechanical or 
touch-sensitive input mechanisms such as a 
keyboard, a mouse, a trackball, a joystick, a 
graphics tablet and stylus, tactile displays, etc., 
involve the use of devices (501, 502 and 503) 
for recording, recognizing, interpreting and 
processing acoustic and/or optical signals of a 
user. The user is thus no longer dependent upon 
the presence of additional hardware devices 
for manually inputting control commands. 
The evaluation of the input information can 
instead or additionally ensue by using methods 
involving signal or pattern recognition. This 
inventive step enables a conversion of a simple 
output visual field, with which the user is not 
provided with any ability to control, into an 
interactively operable input and output visual 
field (203). The type of input method can be 
individually adapted to the abilities of the user. 
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Die folgenden Angaben sind den vom Anmelder eingereichten Unterlagen entnommen 

@ Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem 

Ausgabe-Sichtfeld 
@ Die Erfindung betrifft ein Verfahren zur grafischen Vi- 
sualisierung von Objekten, mit dessen Hilfe die auf min- 
destens einem Sichtfeld 203 dargestellten Objekt durch 
interaktive Steuerbefehle eines Benutzers in ihren Eigen- 
schaften und/oder Aktionen auf eine komfortable und zu- 
verlassige Weise manipuliert, gesteuert bzw. beeinflusst 
werden. Bei den dabei verwendeten Technologien zur 
Eingabe der vom Benutzer abgesetzten Steuerbefehle 
kann es sich neben den standardmaftigen manuell be- 
dienbaren, mechanischen bzw. beruhrungssensitiven 
Eingabemechanismen uber Tastatur, Maus, Trackball, 
Joystick, Grafiktablett und Griffel, taktlle Displays etc. um 
Vorrichtungen 501, 502 und 503 zur Aufnahme, Erken- 
nung. Interpretation und Verarbeitung akustischer und/ 
oder optischer Signale eines Benutzers handeln. Der Be- 
nutzer ist somit nicht mehr auf das Vorhandensein zusatz- 
licher Hardware-Vorrichtungen zur manuellen Eingabe 
[ von Steuerbefehlen angewiesen. Die Auswertung der ein- 
gegebenen Information kann stattdessen bzw. zusatzlich 
mit Hilfe von Methoden der Signal- bzw. Mustererken- 
nung erfolgen. Erst durch diesen erfinderischen Schritt 
wird aus einem reinen Ausgabe-Sichtfeld, bei dem keine 
Steuerungsmoglichkeit fur den Benutzer vorgesehen ist, 
ein interaktiv bedienbares Ein- und Ausgabe-Sichtfeld 
203. Die Art des Eingabeverfahrens kann dabei auf die in- 
dividuell vorhandenen Fahigkeiten des Benutzers zuge- 
schnitten sein. 
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Beschreibung 

A. Schilderung des allgemeinen Problems 

[0001] Tm Rah men dcr Kommunikation zwischen Mcnsch 
und Maschine treten haufig Probleme auf, die auf der unge- 
niigenden Anpassung der Maschine an die Eigenschaften 
der Aufnahme, Verarbeitung und Ausgabe von Inform ar.i on 
durch den menschiichen Anwender beruhen. Diese Fehlan- 
passung kann einerseits zu einer vom Anwender nichl mehr 
7.u bcwaltigcndcn Inform ati on sflut. fuhrcn, vor all cm wenn 
mehrere Aufgaben erledigt werden miissen. Andererseits 
kann auch eine Unterforderung des Anwenders, beispiels- 
weise bei einer hochautomarisierten Anlage, bei der dem 
Menschen Lediglich eine Kontrollfunktion zukommt, bewir- 
ken, dass durch die Monotonie der Arbeils situation ein Lei- 
stungsabfall ein trill und Storfallc infolgc mangclndcr Ubung 
der Vorgehensweise in solchen Situationen nicht mehr be- 
herrscht werden. Auch die mangelnde Beriicksichtigung der 
Kenntnisse und des Ausbildungszustands des Benutzers ei- 
ner Maschine sind hier zu nennen. Das menschliche Verhal- 
ten wird, zum Beispiel bei der Auswahl, Bewertung und 
Vcrkniipfung von Information, bei dcr Entschcidungsfin- 
dung, beim Problemlosen sowie bei der Planung und Aus- 
fiihrung von Handlungen, nur unzureichend beriicksichtigt 
und unterstutzt, wenn es sich um die Auslegung technischer 
Sy steme handelt. 

[0002] Fur die Anpassung technischer Systeiue an den 
Menschen ist somit Vorwisscn ubcr seine Eigcnschaften, 
seine Verhaltensmuster, seine Fertigkeiten und seinen 
Kenntnisstand notwendig. Im Zusammenhang mit der 
Mensch-Maschine-Kommunikat.ion interessieren also seine 
sensorischen, kognitiven und motorischen Eigenschaften. 
Auf der Seite der durch die Sinneskanale vorgegebenen sen- 
sorischen Eigcnschaften des Menschen werden von her- 
kommlichen Maschinen und Geraten zur Ausgabe von In- 
formation im Wesentlichen die folgenden Kanale angespro- 
chen: 

- der visuelle Kanal (Augen) durch optische SignaLe, 40 

- dcr auditive Kanal (Ohrcn) durch akustischc Signaie 
und 

- der taktile Kanal (Tastsinn) durch haptische Signaie. 

[0003] Nach der Verarbeitung der Signaie im Gehim (Ko- 45 
gnition) stehen auf der Seite der durch die Ausgabekanale 
vorgegebenen motorischen Eigcnschaften des Menschen im 
Wesentlichen folgende Kanale zur Verfugung: 

- die Arm-, Hand- und Finger- bzw. Bcin- und FuBmo- 50 
torik sowie Korper-, Kopf-, Augen- oder Mundbewe- 
gungen, also physikalische Bewegungen, Gebarden, 
Gcstik und Mimik fur mcchanischc bzw. optische Si- 
gnaie, 

- die Sprachniolorik fur akustische Signaie. 55 

[0004] Uber diese Kanale konnen Signaie in ein Informa- 
Lionssystem eingegeben werden, um eine gewunschte Ak- 
t.ion des Systems auszulosen. 

60 

B. Bekannte Losung des allgemeinen Problems nach dem 
akt.ucllcn vStand dcr Tcchnik 

[0005] Das Ziel der Entwicklung von geeigneten Sehnitt- 
stellen zwischen Mensch und Maschine ist es, von den Ei- 65 
genschaften der menschiichen Kommunikationskanale und 
Fertigkeiten auszugehen, um Gerate, Interaklionstechniken 
und vSchnittstcllcn bcrcirzustcllcn, die cine cffckt.ivc weeh- 
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selseitige Konununikation uber diese Kanale gewahrleisten. 
Um dieses Ziel zu crrcichcn, sind sogenannte "Virtucllc 
Realitaten" (VR) besonders geeignet Unter dem Begriff 
"Virtuelle Realitat" (VR) versteht man die computerbasierte 
5 Erzcugung einer int.uit.iv wahrnchmbarcn oder cmpfindba- 
ren Szene, bestehend aus ihrer grafischen Darstellung und 
den InteraktionsmoglichkeiLen fur den Benutzer. Eine virtu- 
elle Umgebung ermoglicht einem Benutzer Zugriff zu Infor- 
mationen, die andernfalls am gegebenen Ort oder zur gege- 
10 benen Zeit nicht verfugbar waren. Sie stiiLzt sich auf natiirh- 
chc Aspcktc dcr menschiichen Wahrnchmung, indem sic vi- 
suelle Information in drei raumlichen Dimensionen einsetzt. 
Diese Information kann beispielsweise gezielt verandert 
oder mit weiteren sensorischen Reizen an gerei chert, werden. 
15 Wesentliche Voraussetzungen sind die Kontrolle der Per- 
spektive in Echlzeit und die Moglichkeit der aktiven Ein- 
flussnahmc auf die dargcstcllt.c Szcnc durch den Benutzer 
des Systems. 

[0006] Bei der Navigation durch virtuelle Umgebungen 
20 kann der Benutzer die fur ihn nat.iirliche Art der Steuerung 
einsetzen. Dies konnen beispielsweise entsprechende Arm- 
oder Beinbewegungen, PosiLionieren des Kopfes bzw. der 
Augen, Drchcn des Korpcrs oder Zulaufcn auf ein Objckt 
beinhalten. Durch den Einsatz bereits vorhandener Fertig- 
25 keiten des Benutzers zur Steuerung kann die kognitive Bela- 
stung wahrend der Interaktion zwischen Mensch und Ma- 
schine reduziert werden. Dadurch kann die Bandbreite der 
Kommunikation zwischen Mensch und Maschine erhoht 
und die Bedicnbarkcit dcr Maschine verbessert werden. 
30 Wahrend bei den herkommlichen Formen der Mensch-Ma- 
schine- Kommunikation die Steuerung der Maschine kom- 
mandoorientiert. erfolgt., miissen bei der Steuerung von Ob- 
jekten in virtuellen Umgebungen keine spezirischen Kom- 
mandos neu erlemt und eingesetzt werden: Der Computer 
"bcobachtct" den Benutzer passiv und rcagicrt aufgrund von 
dessen Augen-, Kopf- und/oder Handbewegungen etc. unter 
Echtzeitbedingungen in angemessener Weise. 
[0007] Bei den handelsublichen VR-Applikationen unter- 
scheidet man Systeme, bei denen der Benutzer vollstandig 
in die virtuelle Umgebung inlegriert is I (engl.: "Immersion") 
und Systeme, die nur ein "Fcnstcr" zur virtuellen Realitat 
darbieten. Neben den bekannten Formen der Mensch-Ma- 
schine-Kommunikation wie 

- Direktmanipuiation von Objekten durch manueile 
feinmotorische Operalionen (Zeigen, Beriihren, Grei- 
fen, Bcwcgcn, Fcsthalten etc.), 

- formale Interaktionssprachen (Programmierspra- 
chen, Kommandosprachen und formale Abfragespra- 
chen), 

- naturlichsprachiic he Interaktion, 

- gestische Interaktion mittels nonverbaler syiuboli- 
schcr Kommandos (Mimik, Gcstik, Gebardcn, Bewe- 
gungen) sowie 

- hy bride aufgabenorientierte Interaktionsfonnen 

kann man virtuelle Realitaten auch als eine neue Form der 
Mensch-Maschine-Kommunikation auffassen. Wie der 
Name "Virtuelle Realitat" schon andeutet, ist hierfur eine 
gewisse Realitatstreue der Darstellung notwendig: Dem An- 
wender soli diejenige sensorische Information dargeboten 
werden, die zur Bcarbcitnng einer Aufgabc oder zum Errci- 
chen eines Ziels erforderlich ist. 

[0008] Die visuelle Wahrnehmung liefert nicht nur Infor- 
mat.ionen iiber die Lage, Bewegung, Fonn, Struktur, Kontur, 
Textur, Farbe bzw. Musterung von Objekten etc., sondern 
auch Informalionen iiber die relative Korper stellung des Be- 
trachtcrs und dessen Bewegungen sowie ubcr die Bcschaf- 
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fenheit der dreidimensionalen Umgebung. Synthetiseh ge- 
ncricrtc Umgcbungcn konncn dabei rcalistischcr gcstaltct. 
werden, wenn moglichst viele der in naturlichen Umgebun- 
gen auftrelenden Infonnationen (Bewegungsparallaxe, 
Fluchtpunktc der pcrspckt.i vise hen Darstcllung, raumlichc 5 
Tiefenwirkung und Plastizitat, Beleuchtung und Schatten- 
wurf, Verdeckung, Glanzwirkung, Spiegelungseflekte und 
diffuse Reflexion etc.) simuliert werden. Wie viele und wel- 
che Informationen prasentiert werden soilen, hangt von der 
jeweiligen Aufgabenslellung ab. Die Unlerschiede zwischen 10 
rcalcr und virtue! lcr Welt bestimmen, als wic rcalistisch die 
Simulation wahrgenommen wird. 

[0009] Die visuelle Information muss zur Realisierung 
virtueller Realitaten durch einen Computer simuliert wer- 
den. Dabei sind ahnliche Aspekte relevant wie in der Male- 15 
rei. Bei der computergestulzten Simulation dreidimensiona- 
ler Wclr.cn wird ublichcrwcisc die Projckt.ion cinzclncr 
Lichtstrahlen simuliert. Ausgangspunkt einer solchen Simu- 
lation ist die Spezifikation der zu simulierenden Umgebung. 
Dazu mussen die einzelnen Objekte mit. ihren Rigenschaften 20 
und ihrer Lage festgelegt werden. Zur Visualisierung wer- 
den dann die Intensity ten einzelner BildpunkLe berechneL 
und auf das Ausgabcmcdium projizicrL 
[0010] Mit Hilfe dieser Simulationen lassen sich vollig 
neue Arten des Lemens und t)bens realisieren (Beispiele: 25 
Fahrzeug- bzw. Flugzeugsimulator), andererseifs wird dabei 
immer auch von bestimmten Aspekten der realen Welt ab- 
slrahieri. VR-Applikationen bewirken daher gleichzeitig 
cine Anrcichcrung und cine Einschrankung der Erfahrungs- 
moglichkeiten des Anwenders. 30 
[0011] Grundsatzlich bestehen VR-Systeme aus Sensoren 
und Aktoren sowie deren Kopplung. Wicht.ige Hardware- 
Bestandteile sind unter anderem folgende: 

- "Displays" zur Presentation der virtuellen Umgc- 35 
bung. Im Rahmen der visuellen Presentation kommen 
heute vor allem Monitore, "Head Mounted Displays" 
(HMD), "Binocular Omni-Oriented Monitors" 
(BOOM) und Projektionssysteme; verwendet werden 
aber auch auditive bzw. taklile Displays, welche auf 40 
akustischc bzw. manucllc Bcnutzcrcingabcn rcagicrcn. 

- Positionierungs- und Orientierungssysteme zur Er- 
fassung von Standort und Perspektive des Benutzers. 
Hierbei wird unterschieden zwischen der Best.immung 
der absoluten Position (engl.: "Position Tracking") und 45 
der Messung der Beugung yon Gelenken (engl.: "An- 
gle Measurement"). Zum Einsatz kommen clcktroma- 
gnetische, kinematische, akustische, optische sowie 
bildverarbeitende Prozeduren. 

- Tnterakt.ions- und Manipulationssystcmc zum Agic- 50 
ren und Reagieren des Anwenders in der virtuellen 
Umgebung. Hierfur werden Zeigegerate (2D- bzw. 3D- 
Mausc, -Trackballs, - Joysticks etc.) bzw. taktile Gcratc 
(Touchscreen, elektromagnetisches Graft ktablett und 
GriCfel etc.) verwendet; auch sogenannte "Datenhand- 55 
schuhc" mil Bcugungs- und D rucks ensoren werden in 
zunehmendem Mal3e eingesetzt. Auch Sprachsteue- 
rung ist in diesem Zusaimnenhang zu nennen. 

- Berechnungssysteme und Software zur Erzeugung 
der virtuellen Umgebung unter Echtzeitanforderungen. 60 

- Netzwerke zur Integration verschiedener Benutzer, 
durch die sich neue Formcn der Zusammcnarbcit. cnt- 
wickeln konnen. 

[0012] Die verschiedenartigen technischen Van an ten von 65 
helm- bzw. kopfbasierten Systemen zur Visualisierung vir- 
tueller Realitaten werden im englischen Sprachgebrauch zu- 
sammenfassend als "Visually Coupled Systems" (VCS) be- 
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zeichnet. Sie bestehen aus den folgenden wichtigen Kompo- 
ncntcn: 

1 . einem am Kopf bzw. Helm befesligles Display, 

2. einem Gcrat. zum Bestimmen der Kopf- und/odcr 
Blickbewegungen des Anwenders, 

3. einer Quelle visueller Information, die von der 
Kopf- und/oder Blickrichtung des Anwenders abhangt. 

[0013] Beim Einsatz eines derartigen Systems fur VR- 
Applikationcn konncn sowohl Tnformationcn aus der real en 
als auch aus der virtuellen Umgebung gleichzeitig dargebo- 
ten werden. Man spricht dabei von "See-Through Displays" 
fur die Darstellung von angereicherten Realitaten. 
[00141 Zur Visualisierung sind geeignete optische Kom- 
ponenten (Linsen, haibdurchliissige Spiegel) hoher Qualitat 
crfordcrlich, die cin scharf fokussicrtcs, vcrgroRcrtcs Ahbild 
der Bildquelle ermoglichen. Als Bildquellen kommen ver- 
schiedene Systeme in Betracht; am haufigsten werden je- 
doch Kathodenstrahlrohren oder T£D-Bildschirme einge- 
setzt. Wunschenswert sind dabei eine hohe Auflosung und 
Leuchtdichte, hohe Farbsatligung und hoher Kontrast sowie 
gcringc Abmcssungcn der Bildquelle. Zur Visualisierung 
dreidimensionaler Objekte sind zwei derartige Bildquellen 
erforderlich. 

[001 5] Die Verfolgung von Kopfbewegungen ist ein wich- 
tiger Bestandteil von VR-Applikationen. Ublicherweiser 
werden Position und Orientierung des Kopfes im Raum er- 
mittclt, fortgcschrittcnc Systeme konncn auBcrdcm die 
Blickrichtung verfolgen. Die meisten Systeme setzen dazu 
entweder Ultraschall, magnetische oder Lichtenergie zur 
Kommunikation zwischen den am Kopf angehrachten Sen- 
dern und den Empfangern ein. Wichtige technische Daten, 
die bei der Auswahl dieser Systeme eine Rolle spielen, sind: 

- die Anzahl der Freiheitsgrade fur die Bewegungs- 
richtungen, welche registriert und verfolgt werden kon- 
nen, 

- der erfassbare Winkelbereich, 

- die statische Genauigkeit (Erschutterungsempfind- 
lichkeit), 

- das Aufiosungsvermogen, 

- die Zuverlassigkeit, 

- der Datendurchsat* und die Bildschirm-Abt.astfre- 
quenz, 

- die Schnitls telle zum Computer sowie 

- wcitcrc Pcrformanzaspcktc. 

[0016] VR-Applikationen lassen sich in einer Reihe von 
untcrschicdlichcn Bcrcichcn in der Praxis crfolgrcich an- 
wenden. Im Folgenden werden einige Anwendungsmog- 
lichkeiten beispielhaft skizziert. 

- Entwicklung virtueller Prototypen, zum Beispiel in 
der Automobilinduslrie: Wegen der zunehmenden 
Komplcxitat der zu cntwickclndcn Bautcilc und immer 
kurzer werdenden Entwicklungszyklen ist es sinnvolL 
Planung und Design mil Unterstutzung von Computem 
zu betreiben. Hs lassen sich eine hohere Tnnovat.ions- 
rate, kurzere Entwicklungszyklen und eine bessere Ko- 
ordinaiion des in einem Team vorhandenen Wissens er- 
reichen, wenn mchrcrc Pcrsoncn parallel das Produkt. 
in einer virtuellen Umgebung planen und designen. 
Durch den Einsatz virtueller Realitaten lassen sich 
auch komplexe dreidimensionale Gebilde leicht. spezi- 
fizieren. Die Brauchbarkeit virtueller Prototypen kann 
anschliefiend von verschiedenen Benulzern evaluiert 
werden. 
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- Einsalz im Ausbildungsbereich: Durch das Erlemen 
dcs Umgangs mit (virtucllcn) Objekten, intcraktivc Dc- 
monstrationen, Visualisierung abstrakter Konzepte, 
virluelles Training des Verh aliens in gepahrlichen Si- 
tuationcn, virtucllc Erforschung cntfcrnler Ortc odcr 5 
Epochen konnen Wissen vermittelt. kreative Fertigkei- 
ten geschult und Verh alien smusler irainierl werden. 

- Fahr- und Flugtraining in ent.sprechenden Simulato- 
ren: 

Durch den Einsalz von Simulatoren kann das Verhallen 10 
insbcsondcrc in Notsituationcn geschult wcrdcn 

[0017] Die heute verfugbaren Technologien zur Eingabe 
von Information in ein datenverarbeitendes System lassen 
sich nach den verwendeten Sensoren in vier Gruppen eintei- 15 
len: mechanise; he (z. B. TasLaluren, Mause, Trackballs und 
Joysticks), clcktrischc (z. B. takt.ilc Displays und Grafikta- 
bletts), optische (z. B. Lichtgriffel) und akustische (z. B. 
Spracheingabe- und Sprachinterpretationssysteme). ImFol- 
genden soil auf die nach dem heutigen *Stand der Technik 20 
gebrauchlichen Hilfsmittel zur Eingabe von Information, 
die zur Sleuerung von Objekten im Bereich von VR-Appli- 
kationcn cingesctzt. wcrdcn, kurz cingegangen wcrdcn. 
[0018] Sowohl Tastaturen, Mause, Trackballs als auch 
Joysticks benotigen eine Ablageflache, also einen festen 25 
Standplatz. Mit einem Touchscreen dagegen ist es moglich, 
direkt auf Objekte, die auf dem Bilds chirm abgebildet sind, 
mit dem Finger zu zeigen, ohne weilere plalzraubende Zu- 
satzgerate auf dem Schrcibtisch zu benotigen. Nicdrig auflo- 
sende Touch screens weisen 10 bis 50 Positionen in waage- 30 
rechter und senkrechter Richtung auf und benutzen eine ho- 
rizon tale und vertikale Reihe von Infrarot-T .euchtdioden und 
Fotosensoren, um ein Gitter von unsichtbaren Lichtstrahlen 
unmiUelbar vor dem Bildschinn aufzubauen. Bei einer Be- 
ruhrung dcs Bildschirms wcrdcn sowohl vertikale als auch 35 
horizon tale Lichtstrahlen unterbrochen. Aus dieser Informa- 
tion kann die aktuelle Fingerposition ermittelt werden. 
[0019] Fine andere bekannte Ausruhrungsform beriih- 
rungssensitiver Informationseingabegerate ist das kapazitiv 
gekoppelle Touch-Panel. Dieses liefert eine Auflosung von 40 
ca. 100 Positionen in jeder Richtung. Wcnn cin Bcnutzcr die 
leitfahig beschichtete Glasplatte des Touch screens mit ei- 
nem Finger beruhrt, kann aufgrund der Impedanzanderung 
die aktuelle Fingerposition ermittelt werden. Andere hoch- 
auflosende Panels verwenden zwei minimal voneinander 45 
entfernle, Iransparenle SchichLen. Eine davon ist leitfahig 
bcschichtct, die andere mit cincm Widcrstandsmatcrial bc- 
schichtet. Durch den Anpressdruck des Fingers beruhren 
sich diese beiden Lagen, und durch Messung des daraus re- 
sulticrcndcn Spannungsabfalls kann dann die aktuelle Fin- 50 
gerposition ermittelt werden. Eine niedriger auflosende und 
billigere Variante dieser Technologie verwendet anstelle 
dicscr Schichtcn cin Gitter von fcincn Drahtcn. 

C. Unzulanglichkeiten, Auswirkungen und Nachieile der 55 
bckannt.cn Txisung 

[0020] Die derzeiL verwendeten Systeme zur DarsLellung 
und vSteuerung von Objekten in virt.uellen Umgebungen be- 
rucksichtigen zwar in zunehmendem MaBe die Fahigkeiten 60 
des Menschen zur Aufnahme und Verarbeilung von Infor- 
mation, jedoch wciscn sic cincn cntschcidcndcn Nachtcil 
auf: Bei der Eingabe von Steuerbefehlen zur direkten Beein- 
Qussung der dargeslelllen Szene ist der Benulzer nach wie 
vor auf herkommliche Methoden zur manuellen Fingabe 65 
von Information angewiesen, wie zumBeispiel iiber Maus, 
Trackball, Joystick, Grafiktabletl mil Griflel, Touchscreen. 
Die hicrbci notwendigen Ringabcmcchanismcn miisscn 
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voin Benulzer ersl erleml werden, um auch in einer ange- 
messcnen Rcaktionsgcschwindigkcit ausgefuhrt wcrdcn zu 
konnen. Dagegen werden die angeborenen bzw. bereits vor- 
handenen erlernten Fahigkeiten des Menschen zur Kommu- 
nikation mittcls akustischen Signal cn (z. B. Sprachc) bzw. 
optischen Signalen (z. B. Mimik, Gestik, Gebarden und Be- 
wegungen) bei der Eingabe von Information, zur Sleuerung 
von Objekten nur unzureichend berucksichtigt. 
T00211 Die Manipulation der Eigenschaften und Beein- 
flussung der Aklionen von Objekten einer dargeslelllen 
Szcnc sctzt cin komplizicrtcs Zusam men spiel von Scnsorik, 
kognitiver Verarbeitung und Motorik voraus, auf das viele 
Faktoren einwirken (individuelle Verhaltensmuster und Fa- 
higkeiten, Frfahrungen, Umwelteinfliisse etc.). Bei Tnterak- 
tionen in einer virtu ellen Welt kommen noch zusatzliche 
Schwierigkeiten hinzu. Zur Sleuerung, Manipulation bzw. 
Bccinflussung von Objekten ist insbcsondcrc cine reflex ar- 
tige bzw. kognitive sensorisch-motorische Riickkopplung 
wichtig, die beispielsweise von Rezeptoren in der Haut, kin- 
asthetischen Fmpfindungen, dem Gleichgewichtssinn sowie 
visuellen und/oder akustischen Empfindungen stammt. Da- 
bei ergibt sich in vielen Fallen eine noiwendige Redundanz, 
die bei VR-Applikationcn nicht immcr gegeben ist. Auf- 
grund der unzureichenden sensorischen Riickkopplung bei 
VR-Applikationen wird zudem das Erlernen motorischer 
Fert.i gkei ten ersch werL 

D. Durch die Erfindung zu losende spezielle Aufgabe 

[0022] Ein ideates Medium zur Kommunikation zwischen 
einem Benutzer und einem In formations system sollte so- 
wohl auf die sensorischen undperzeptuellen als auch auf die 
motorischen Fahigkeiten sowie auf die spezirischen Eigen- 
schaften des menschlichen Benutzers abgeslimmt sein. Da- 
bci sollte die Information so strukturicrt scin, dass cine opti- 
male Ubereinstimmung zwischen der Representation der 
ausgegebenen Information und dem mentalen Modell des 
Benutzers erzielt. wird: Werden die dem Benutzer anzuzei- 
genden Informationen in einer Weise dargeboten, dass zum 
Beispiel sein raundiches Wahrnehmungsvennogen ange- 
sprochen wird, kann der Bcnutzcr mil crstaunlich komplc- 
xen Inform ationsmengen pro Zeiteinheit umgehen. Ebenso 
sollte das Informationssystern in der Lage sein, moglichst 
viele Arten der von einem Benutzer abgesetzten Information 
aufzunehmen, zu verstehen und zu verarbeiten und in ent- 
sprechende Aktionen umzusetzen. Damit ist der Vorteil ver- 
bunden, dass der Bcnutzcr cffizicntcr und schncllcr auf ncuc 
Ereignisse und Situationen reagieren kann. Benutzerfreund- 
lichkeit und Aufgabenangemessenheit sind somit typische 
Mcrkmalc, iibcr die cin idcalcs Medium vcrfiigt. Dicsc 
Merkmale konnen sich wie folgt auBern: 

- Ubereinstimmung zwischen Art, Umfang und Aus- 
gabegeschwindigkeit und Prasentation der ausgegebe- 
nen Information mit den sensorischen Eigenschaften 
dcs menschlichen Benutzers, 

- Bertie ksichtigung aller Informations kanale des Be- 
nutzers bei der Aufnahme, Erkennung und Interpreta- 
tion empfangener Steuersignale des Benutzers, 

- leichte Erlembarkeit und intuitive Bedienbarkeit des 
Mediums, 

- hohc Bandbrcitc der Inforrnat.ionsubcnnil.Uung zum 
Gehirn und hoher Durchsatz der Information, 

- dynamische Adaption der Applikation an die indivi- 
duellen Eigenschaften, Fahigkeiten, Aufgaben, Ar- 
beits- und Organisationstechniken des Benutzers, 

- Verwendung einer nalurlichen InterakLionssprache 
mit hohem semantischem Inhale 
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- Zuverlassigkeit, Robuslheil unci Warlbarkeit des 
Mediums, 

- soziale Akzeptanz des Mediums in der Bevolkerung, 

- Berticksichligung gesundheitlicher, ergonomischer 
und sichcrhcitsrclcvantcr Aspcktc etc. 5 

[0023] Der vorgelegten Erfindung liegl die Aufgabe zu- 
grunde, die bestehende Situation mir. technischen Mi Mel n zu 
verbessem. Daher widmet sich die Erfindung vorrangig der 
Aufgabe, komforlable und zuveriassig arbeilende Verfahren 10 
bcrcitzustcllcn, mit dcrcn Hilfc dem Anwcndcr cine aktivc 
Steuerung virtueller Objekte ermoglicht wird, wobei die be- 
reits vorhandenen Fertigkeiten des Benutzers zur Aussen- 
dung von Information genutzt werden. Diese Aufgabe wird 
durch ein Verfahren mit Merkmalen nach Patentanspruch 1 15 
gelost. 

E. ErfindungsgemaBe Losung der speziellen Aufgabe ge- 
ma/3 den Patentanspriichen und Vorteile dieser Losung 

20 

Zu Patentanspruch 1 

[0024] Der Benutzer soil in die "Lagc vcrsctzt werden kon- 
nen, mit Hilfe geeigneter Interaktionsmoglichkeiten die Ei- 
genschaften und/oder Aktionen der dargestellten Objekte irn 25 
Sich tf eld 203 zu manipulieren bzw. zu beeinflussen. Zu die- 
sem Zweck sind zusatzliche hardwaretechnische Hilfsmittel 
zur tuanuellen Eingabe von Steuerbefehlen (z. B. via Tasta- 
tur, Maus, Trackball, Joystick odcr Touchscreen) nicht un- 
bedingt erforderlich. Die vorliegende Erfindung greift des- 30 
halb zur Erfassung und Verarbeitung vom Benutzer in Form 
von Signal en ausgesendeter Information auf Methoden der 
Signal- bzw. Mustererkennung zuriick. Erst durch diesen er- 
fmderischen SchriLl wird aus einein reinen Ausgabe-Sicht- 
fcld ein inter aktiv bedienbarcs Ein- und Ausgabc-Sichtfcld 35 
203, das an die Fahigkeiten des Benutzers angepasst ist. Bei 
den durch den Benutzer manipulierbaren Eigenschaften von 
Objekten einer dargestellten Szene 204 kann es sich bei- 
spielsweise um Merkmale wie Ortsvektor, Lage, AusmaBe, 
Betrachtungsperspeklive, geometrische Fonn, Struktur, 40 
Kontur bzw. Tcxtur der Objekte handcln. Vorstcllbar sind 
aber auch Interaktionsmoglichkeiten, mit denen die Art der 
Darstellung der Objekte verandert wird, wie beispielsweise 
Farbe bzw. Musterung, Helligkeit, Kontrastwirkung gegen- 
iiber dem Hintergrund, Glanzeftekte, Spiegeiungen und Re- 45 
flexionen, Schattierung etc. Bei den durch den Benutzer be- 
cinflussbarcn Aktionen von Objekten der dargestellten 
Szene kann es sich etwa um die Bewegung der Objekte han- 
deln. Die Bewegung der Objekte kann dabei Trans lations- 
und/odcr Rotationsantcilc bcinhaltcn, wobei die kincmati- 50 
schen Daten der Objekte, wie zum Beispiel Betrag und/oder 
Richtung seines Gescbwindigkeits- bzw. Beschleunigungs- 
vcktors bzw. seines Winkclgcschwindigkcits- bzw. Winkcl- 
beschleunigungsvektors, individuell gemaB den Steuerbe- 
fehlen des Benutzers verandert werden konnen. 55 

Zu Patentanspruch 2 

[0025] Die Registrierung der interaktiven Steuerbefehle 
des Benutzers kann dabei mit Hilfe von Sensoren 502 und/ 60 
oder Auihahmegeraten 501 erfolgen. Nach der Datenerf as- 
sung konnen die crfasstcn Eingabc-Datcn cincr Auswcrtc- 
und Steuerung svorrichtung 503 zugefiihrt werden, als Steu- 
erbefehle interpretiert und verarbeitet werden. Um die Mog- 
lichkeit einer Fehlinterpretation von ausgesendeten Signa- 65 
len eines Benutzers durch das Daten verarbeitungssystem 
moglichsl gering zu halten und damit die Zuveriassig keit 
des Systems zu crhohen, muss das System an die gewohnten 
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Eigenschaften des Benutzers angepasst werden. Aus diesein 
Grund musscn dem System allc moglichcn Eingabcsignalc 
eines individuellen Befehlssatzes des betreffenden Benut- 
zers in einer Trainingsphase mehrfach wiederholt "beige- 
bracht" werden. Entsprcchcnd dicscr vom System als Steu- 
erbefehle interpretierten Signale ist es moglich, die Objekte 
einer dargestellten Szene zu manipulieren bzw. zu beeinflus- 
sen oder/und eine Aktion auszulosen. Die auf diese Weise 
manipulierten bzw. beeinflussten Objekte oder/und die da- 
mit ausgelosten Aktionen konnen auf einem Sichtfeld 203 
dem Benutzer grafisch visualisicrt. bzw. akust.isch und/oder 
optisch angezeigt werden. Dadurch ist ein Riickkopplungs- 
kreis zwischen Ausgabe- und Eingabedaten gegeben, mit 
dessen Hilfe die Reaktion auf Anderungen von Objekten ei- 
ner dargestellten Szene 204 nahezu in Echtzeit ermoglicht 
werden kann. 

Zu Patentanspruch 3 

[0026] Bei den im Rah men dieses Verfahrens steuerbaren 
Objekten kann es sich beispielsweise um real existierende 
Objekte in einer realen Umgebung handeln. Ein typisches 
An wen dun gsbci spiel ist ctwa die Fun kf cm steuerung eines 
Roboters zur Durchfuhrung gefahrlicher Arbeiten an schwer 
zuganglichen und/oder entfernten Orten, zum Beispiel zur 
Erledigung von Reparat.urarbeiten in Kanalisationsrohren, 
zur Untersuchung radioaktiver Substanzen in hermetisch ab- 
geschotteten Hochsicherheitsraumen oder zur Dalengewin- 
nung und -ubcrmittlung bei unbemannten Wcltraummissio- 
nen. Ein anderes typisches Anwendungsbeispiel ist die 
Moglichkeit der Fernsteuerung von Arbeits- und/oder Haus- 
haltsgeraten mir.tels nicht-manueller Eingabe verfahren fur 
korper- oder/und manuell behinderte Menschen. Die Art des 
Eingabeverfahrens kann dabei auf die individuell vorhande- 
nen Fahigkeiten des Benutzers zugeschnitten scin. 

Zu Patentanspruch 4 

[00271 Vorstellbar sind aber auch Ausfuhrungsbeipiele 
dieser Erfindung, bei denen die zu steuernden Objekte nicht 
real existierende Objekte in cincr virtucllcn Umgebung ei- 
nes computergesteuerten Modells sind. Vor allem im Aus- 
bildungsbereich erscheint der Einsatz von Systemen zur in- 
teraktiven Steuerung virtueller Objekte sinnvoll: Durch das 
Erlernen des Umgangs mit virtuellen Objekten, interaktive 
Dei nons trationen, Visualisierung absirakter KonzepLe, vir- 
tucllcs Training des Vcrhaltcns in gcfahrlichcn Situadoncn, 
virtuelle Erforschung entfernter Orte oder Epochen konnen 
Wissen vermittelt, kreadve Fertigkeiten geschult und Ver- 
haltcnsmustcr trainicrt werden. Typischc Einsatzgcbictc 
sind beispielsweise Flugsimulatoren, mit deren Hilfe kriti- 
sche Siluationen im Flugverkehr (Triebwerksausfalle, Slro- 
mungsabrissc, Notlandungcn auf dem Wasscr und auf dem 
Land etc.) von auszubildenden Piloten trainiert werden und 
Lemforlschrilte quanlitaliv beurteilt werden konnen. 

Zu Patentanspruch 5 

[0028] Eine naturliche Form der Tnteraktion von Mensch 
und Maschine sowie der Eingabe von Information in ein in- 
formations verarbeilendes System isl die der naturlieh- 
sprachlichcn Kom muni kali on. Aus dicscm Grund hi ctct sich 
diese Form der Eingabe fur Ausfuhrungsbeispiele der vor- 
liegenden Erfindung an. Die bisher und in absehbarer Zeit 
verwendeten vSpracheingabesysteme machen jedoch nur in 
einem eingeschrankten Umfang von der naturlichsprachli- 
chen Konuitunikation Gebrauch, indem nur Worter eines 
vom Hers teller fest vorgegeben Basisvokabulars geringen 
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Umfangs zuzughch eines benutzerspezifischen Fachvoka- 
bulars (in dcr Rcgcl cinigc hundcrt bis tauscnd Worter) odcr 
auch Zusammensetzungen dieser Worter zugelassen war- 
den. Zur Erhdhung der Erkennungsrate muss ein Anwender 
sowohl das Basisvokabular als auch scin bcnutzcrspczifi- 
sches Fachvokabular dem System in einer Trainingsphase 
mehrfach wiederholt vorsprechen, damil sich das System 
auf die Stimme des Benutzers und et.waige Abweichungen 
vom Normalzustand der Stimme, zum Beispiel infolge Er- 
kaltung oder Heiserkeit des Benutzers, einstellen kann. Bei 
cincr Ausfuhrungsform sprachcrkcnncndcr Systcmc wcrdcn 
wahrend dieser Trainingsphase vom System statistische 
Modelle (in der Regel "Hidden-Markov-Modelle") gene- 
riert, mit deren Hilfe beispielsweise der Abfolge einzelner 
Phoneme bzw. Silben der trainierten Worter Wahrschein- 
lichkeitsdichtefunktionen zugeordnet werden, so dass neu 
vorgcsprochcnc Worter mit. cincr vorhcrsagbarcn Wahr- 
scheinlichkeit als richtig bzw. falsch erkannt werden. 

Zu Patentanspruch 6 

[0029] Bei der Vorrichlung 503 zur Erkennung und Inter- 
pretation dcr Stcucrbcfchlc des Benutzers kann cs sich bei- 
spielsweise um ein automatisches Erkennungssystem fur 
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sammeln. Dabei kann ein Teil des Umgebungsschalls bzw. 
dcr Umgcbungsstrahlung mit Hilfc von Filtcm abgcblockt 
werden, Damit das Sensorsystem unabhangig von den Um- 
gebungsbedingungen zuverlassig funktioniert, kann eine 
Komprcssion, Kodicrung und Modulation dcr von dcr Si- 
gnalquelle ausgesendeten Signale und eine geeignete Si- 
gnalverarbeitung auf der Detektorseite zur Demodulation, 
Dekodierung und Dekompression der empfangenen Signale 
vorgesehen sein. 

Zu Patentanspruch 9 



[0032] Bei der Vorrichtung 503 zur Interpretation von in- 
teraktiven Steuerbefehlen eines Benutzers kann es sich hei- 
15 spiels weise auch um ein automatisches Erkennungssystem 
fur Bewegungssignale handeln, wobei Methoden der Bild- 
vcrarbcitung zum Einsatz gclangcn konnen. Fine Moglich- 
keit ist zum Beispiel, die Lippenbewegungen des Benutzers 
beim Sprechen zu analysieren, um damit die Erkennungssi- 
20 cherheit der Spracheingabe zu erbohen. Moderne Untersu- 
chungen haben gezeigt, dass durch die Kombination von 
akustischer und opdscher Spracherkennung im Vergleich 
zur ausschlicBlich akustischen Spracherkennung die Wort- 
fehlerrate bei einzelnen Sprechern um 30% bis 50% gesenkt 
aku^uichTsignale handeln, speziell fur Sprachsignale. Die 25 werden kann. Andere Ausfuhrungsformen konnen die Kopf- 



meisten der heute eingesetzten automatischen Spracherken- 
nungssysteme sind zum Beispiel wort-, silben- oder pho- 
neinbasierte Sysleme, die nur fur konLexiunabhangige 
Spracherkennung konzipicrt sind. Das bed cu let, dass die aus 
Wortern eines trainierten Vokabulars bestehenden Sprach- 
kommandos dem System derzeit mit ausreichend groflen 
Sprechpausen ("diskret") vorgesprochen werden miissen, 
um fur den Benutzer akzeptable Worterkennungsraten im 
Bereich von ca. 90% bis 95% zu erzielen. Handel siiblic he 
polyphonbasicrtc Prototypcn kontcxtabhangigcr Sprachcr- 
kennungssysteme fur flieBend Ckontinuierlich") gespro- 
chene Sprache erreichen heute schon Worterkennungsraten 
von ca. 95% bis 98%. Allerdings ist die Rechenlei stung des 
Systems fur kontinuierliche kontextabhangige Spracherken- 
nung so groB, dass sie auch auf den derzeitigen Hochlei- 
stungsrechnern nicht mchr in Echtzcit durchgefuhrt wcrdcn 
kann. 

Zu Patentanspruch 7 

[0030] Eine weitere Form der Mensch-Maschine-Kom- 
munikation, wclchc den Eigcnschaftcn und Fcrtigkcitcn des 
Benutzers entgegenkommt, ist die der Auswertung von opti- 
schen Signalen, wie etwa Korper-, Kopf-, Gesichts-, Bein-, 
FuR-, Arm-, Hand- und/odcr Fingcrbcwcgungcn, also Gc- 
barden, Gestik und/oder Mimik. Die weitverbreiteten Fahig- 
keiten des Menschen, Informationen durch die Position, 
Raumrichtung und Bcwcgung von Korpcrtcilcn zu kodic- 
ren, stellt heute noch eine grofie Herausforderung fiir die 
Gestaltung von Eingabeverfahren fiir die Mensch-Ma- 
schinc-Kommunikation dar. 

Zu Patentanspruch 8 

[0031] Zum Empfang von optischen Signalen des Benut- 
zers konnen Sensoren 202 und/oder Aufnahmegerate 201 
verwendet wcrdcn. Konkrcr. kann cs sich dabci um opt.ischc 
bzw. akustische Ab stands sensoren und/oder Videokameras 
handeln. Der Abstandssensor kann uber eine Ultraschall- 
bzw. hochfrequente Strahlungsquelle verfiigen sowieeinem 
Detektor und Vorrichtungen, die den Schall bzw. die Strah- 
lung auf das Messobjekt bundeln und die vom Messobjekt 
rcflckticrtcn Schall- bzw. T.ichtwcllcn auf dem Detektor 



und/oder Augenbewegungen zur Tnformationseingabe ver- 
wenden. Hierzu ist eine Vermes sung der Kopf- und/oder 
Blickrichtung erforderbch. Bei einem seit 1982 bekannten 
Eingabeverfahren, das auf cincr Mcssung dcr Blickrichtung 
30 des Anwenders durch beruhrungslose Erfassung der Kopf- 
bewegung beruht, erfolgt mittels eines vor einem Auge an- 
gebrachten Visiers die visuelle Riickkopplung der Kopfposi- 
tion. Weiter ist am Kopf eine kleine Lichtqueiie angebracht, 
deren Position mil Hilfe einer Videokamera vermes sen wird, 
35 so dass Kopfbcwcgungcn um zwei Drchachscn (horizontal 
und vertikal) erfasst werden konnen. Ein anderes Eingabe- 
verfahren, das auf der Messung der Augenbewegungen ba- 
siert, ist seit 1987 bekannt Dabei wird davon ausgegangen, 
dass die Auswahl eines auf einer optischen Anzeige darge- 
40 stellten Objekts eine der haufigsten Eingabeoperationen ist 
und dass die visuelle Fixicrung cincs auszuwahlcndcn Ob- 
jekts eine normale Verhaltens weise des Menschen ist. Diese 
Art der Eingabe wird vor allem bei hohen Anforderungen an 
die Geschwindigkeit der Eingabe bzw. bei Behinderung der 
45 Hande oder Belegung durch andere Aufgaben empfohlen. 

Zu Patentanspruch 10 
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[0033] Bei der Ausgabevorrichtung 505 zur Darstellung 
cincr virtucllcn Umgcbung kann cs sich beispielsweise um 
ein Gerat zur Erzeugung eines sogenannten "Virtual Retinal 
Display" (VRD) handeln, bei dem eine virtuelle Bildflache 
203 auf die Nctzhaut 206 des Anwenders projizicrt wird. 
Anstelle eines Bildschirms oder einer Anzeigevorrichtung 
wird lediglich eine koharente Photonenstrahlung aussen- 
dende T.ichtqucllc benotigt. Dabci kann cs sich um cin Gcrat 
aus dem Arbeits- oder Freizeitbereich bzw. um eine Orthese 
handeln, die eine ErweiLerung des menschlichen Sehvenno- 
gens bewerkstelligt. Gegenuber real en Displays weist ein 
VRD folgende Vorteile auf: 1 . Die Auflosung des VRD wird 
lediglich durch die Beugung und optische Aberration des 
Lichtstrahls im menschlichen Augc begrenzt, nicht abcr 
durch die bei Bildschirmen oder realen Displays technisch 
realisierbare Grofie eines elementaren Bildelements (Pixel- 
groRe). Aus diesem Grund konnen Bilder mit einer sehr bo- 
hen Auflosung generiert werden. 2. Die mit Hilfe eines 
VRDs erzielbareBildhelUgkeit kann durch die Intensitat des 
ausgesendeten "Lichtstrahls gestcucrt. wcrdcn. Bei Vcrwcn- 
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dung eines Lasers als LichtqueLle kann die Bildhelligkeit 
dcs VRDs groB gcnug cingcstcllt wcrdcn, urn im Frcicn cin- 
gesetzt werden zu konnen. 3. VRDs konnen entweder in ei- 
nem Modus fiir virtueLle Realilaien oder in einein Modus fur 
angcrcichcrtc Rca1it.at.cn ("Sec-Through Modus") hetricben 5 
werden. 4. Die industrielle Fertigung einer Lichtquelle zur 
Generierung eines VRDs ist verhalLnisinaBig einfach und im 
Vergleich mit konventionellen Bildschirmen und Anzeige- 
vorrichtungen mit geringen Produktionskosten durchfuhr- 
bar. 5. Da ein Groflieil des generierten Lichts auf die Netz- 10 
haut dcs Bctrachtcrs fokussicrt wird, arbcitcn VRDs mit. ci- 
nem hohen Wirkungsgrad und weisen einen im Vergleich zu 
Bildschirmen und realen Displays geringen Leistungsver- 
branch auf. 

15 

Zu PaLenLanspruch 11 

[0034] Die virtuelle Bildflache 401 kann beispielsweise 
virtuelle eingabesensidve Referenzpunkte 404, 405, 406 
und 407 und/oder -flachen 403 in einer virtuellen Bildebene 20 
vorgegebener Raumrichtung aufweisen. Dies konnen ebene 
Flachen miL vorgegebenem Flacheninhalt sein. Die Raum- . 
richtung dcr virtuellen Bildebene kann vorzugsweisc senk- 
recht zur Blickrichtung orientiert sein, also dergestalt, dass 
der Normalenvektor n der virtuellen Bildebene parallel bzw. 25 
amiparallel zum Blickrichtungsvektor b liegt. Eingaben 
werden jeweils dann ausgelbst, wenn ein reales Objekt (ein 
GegensLand oder ein KorperLeil des Benutzers) die Ebene 
dcs virtuellen Displays an einer solchcn cingabcscnsitivcn 
Flache 205 beriihrt bzw. die Flache in einem beliebigen Ein- 30 
trittswinkel schneidet. Mit Hilfe von Methoden der Muster- 
erkennung kann es ermoglicht werden, eine beahsichtigte 
Eingabe von einer unbeabsichtigten Eingabe zu unterschei- 
den. Dabei konnte beispielsweise der Zeigefinger der reeh- 
tcn Hand eines Benutzers als cinziges Eingabcmcdium cr- 35 
kannt werden. Eine Inter aktion wird in diesem Fall nur dann 
zugelassen, wenn dieser Finger eine eingabesensidve Flache 
in einer virtuellen Bildebene schneidet bzw. beriihrt. 

Zu Patentanspruch 12 40 

[0035] Der Abstand des LotfuBpunkts der virtuellen Bild- 
ebene zum Punkt scharfster Abbildung auf der Netzhaut ei- 
nes der Augen 304 des Befrachters bzw. dieBegrenzung und 
raumliche Ausrichtung der Bildflache 303 der virtuellen 45 
Bildebene kann durch die Erkennung von optischen Signa- 
lcn dcs Benutzers mit Hilfe cincs optischen odcr akustischen 
Abstandssensors 502, einer Videokamera 501 sowie einer 
nachgeschalteten Auswerteelektronik 503 vorgenommen 
wcrdcn. 50 

Zu PaLenLanspruch 13 

[0036] Bei den optischen Anzeigevorrichtungen wird ne- 
ben konvenLionellen analogen und digilalen Displays zuneh- 55 
mend dcr Bildschirm cingesctzt, da hicr die Kodicrung der 
Information durch viele verschiedene Arten (Text, Graphik, 
Bild. Animation etc.) erfolgen kann. AuBerdem sLehen hier 
die Moglichkeiten der flexiblen Organisation der Informa- 
tion zur Verfiigung, mit denen der erforderliche Such- und 60 
Auswahlvorgang einzelner ObjekLe unterstutzt werden 
kann. Zur Darstellung raumlichcr Sachvcrhaltc konnen 3D- 
Anzeigen bzw. 3D-Brillen verwendet werden. Bei alien die- 
sen optischen Anzeigen sind bei der Ablesung neben der 
dazu n on gen Aufmerksamkeit des Benutzers Bewegungen 65 
des Kopfes und/oder der Augen erforderlich. Zur Verhinde- 
rung der visuellen Ablenkung des Benutzers konnen, zum 
Bcispicl bei dcr Flugzcug- odcr Fan rv.cugfuh rung, Projckti- 
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onsvorrichLungen (*'Head'up n -Anzeigen) verwendeL werden, 
bei denen die abzulcscndc Information in den Sichtbcrcich 
eingeblendet wird, auf den das Auge zur Wahrnehmung der 
Hauptaufgabe (etwa der Flugzeug- oder Fahrzeugfuhrung) 
vorzugsweisc ausgcrichtct. ist. Eine Sondcrform ist. die Aus- 
fiihrung als helmbasierte Anzeigevorrichtung in Form eines 
"Head-Mounted Displays" (HMD), bei der die Anzeigeein- 
heit im Helm des Benutzers befestigt. ist. Herkommliche 
VR-Anwendungen verwenden HMDs zur Darstellung virtu- 
eller Welten iiber ein Stereodisplay system sowie uber 
Raumklangsystcmc odcr an das HMD gckoppcltc Kopfho- 
rer. Damit die dreidimensionale virtuelle Umgebung dem 
Betrachter auch bei Kopfbewegungen stabil erscheint, muB 
die Kopfbewegung in den sechs Freiheitsgraden erfaBt und 
dem Display weitergegeben werden. Dies muB mit einer ge- 
nugend hohen Frequenz von mindestens 70 Hz erfolgen. 
Zur Mcssung dcr Kopfbewegung wcrdcn bishcr cine Vicl- 
zahl verschiedener Messsysteme eingesetzt. Viele sind je- 
doch entweder fur den Betrachter unbequem oder in der Be- 
schaffung zu teuer. Zusat.zliche konnen akustischehzw. hap- 
tische Ausgabevorrichtungen vorhanden sein, da akustische 
und haptische Signale geringer IntensitaL keine visuelle Ab- 
lenkung dcs Bcnut7^rs bewirken. Allcrdings sind haptische 
Signalgeber derzeit nur als Blindenhilfsmittel in breitem 
Einsatz. 

F. Figurenbeschreibung 

[0037] Im Folgcndcn wird die Erfindung anhand bevor- 
zugter Ausfuhrungsbeispiele, wie sie in den Fig. 1 bis 5 ge- 
schildert sind, naher beschrieben. 
[0038] Im Detail zeigen 

[0039] Fig. 1 ein Designmuster 101, eine Prinzipdarstel- 
lung 102 sowie ein Lypisches Anwendungsbeispiel 103 eines 
"Virtual Retinal Displays" (VRD) aus dcr Sicht dcs Benut- 
zers (Quelle: "Technologies to Watch", Ausgabe Mai 2000), 
[0040] Fig. 2 eine schematische Darstellung des Eingabe- 
verfahrens iiber ein VRD, 

[0041] Fig. 3 eine schematische Darstellung zur Erfas- 
sung des Ab stands der virtuellen Bildebene bei einem VRD, 
[0042] Fig. 4 cin Bcispicl zur Erfassung dcr virtuellen 
Eckpunktkoordinaten 404, 405, 406 und 407 der Bildflache 
401 eines VRD und 

[0043] Fig. 5 einen schematischen Hardwareaufbau zur 
Erfassung der Eingabe und Steuerung der Ausgabe eines 
VRD. 

[0044] In Fig. 1 ist cin Designmuster 101 cincs Microvi- 
sion- Systems zur Erzeugung eines VRDs, eine Prinzipdar- 
stellung 102 der Funktionsweise des VRDs sowie ein typi- 
sches Anwendungsbeispiel 103 cincs VRDs dargcstcllL Bei 
dem dargestellten Anwendungsbeispiel handelt es sich um 
eine Spannungsmessung im KrafLfahrzeugbereich, bei der 
dem Anwcndcr uber cin VRD Scricnnummcr, Profil, Mcss- 
werte und die gemessene Spannungs-Zeit-Kennlinie des ge- 
prtiClen Bauteils eingeblendet werden. 

[0045] In Fig. 2 wird das Vcrfahrcn dcr Eingabe iibcr bc- 
riihrungs sensitive Schaltflachen 205 bei VRDs demon- 
slrierL Abgebildet isL die Bildflache 203 der virtuelle Bild- 
ebene mit den darin ent.haltenen Teilbereichen fiir die virtu- 
elle Ausgabetlache 204 und die virtuellen Taster bzw. Schal- 
Ler 205. Werden die Eingabe flachen von einem Finger des 
Benutzers 207 odcr cincm Gcgcnstand bcruhrt bzw. in ei- 
nem beliebigen Eintrittswinkel durchstoBen, wird eine Ein- 
gabe erkannL und enLsprechende AkLion ausgelost. Die Ein- 
gaben des Benutzers konnen mit Hilfe einer Videokamera 
201 und/oder einem Ab stands sensor 202 erfasst werden. 
[0046] Fig. 3 veranschaulichL bildhaft das Verfahren zur 
Bcstimmung dcs Abstands dcr virtuellen Bildebene zur 
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Nelzhaut eines der Augen 304 des Betrachters bei einem 
VRD. Durch die Position und raumlichc Ausrichtung dcr 
ausgestreckten Handflache 305 des Benutzers werden der 
Aufpunkl und die beiden Richlungsvekloren der virluelien 
Bildcbcnc 303 bestimmt. Zu dicscm Zwcck kann bcispicls- 
weise ein Ultras chall- bzw. Infrarotwellen aussendender 
Abslandssensor 302, eine Videokamera 301 sowie ein Ver- 
fahren zur Signal- bzw. Tvlustererkennung herangezogen 
werden. Idealerweise wird die raumliche Orientierung der 
virluelien Bildebene voni Benutzer dergestalt feslgelegi, 
dass dcr Normalcnvcktor n dcr virluelien Bildcbcnc parallel 
bzw. antiparallel zum Blickrichtungsvektor b verlauft, also 
das Skalarprodukt der betragsnorrnierten Vektoren n/llnlb 
und b/llbll 2 die Werte +1 bzw. -1 ergibt.. Der Abstand der vir- 
luelien Ebene zum Betrachter ergibt sich dann als der Ab- 
stand zwischen dem LolfuBpunkl, also dem Schnitlpunkl 
zwischen virtucllcr Bildcbcnc und Blickrichtungsgcradc, 
und dem Punkt scharfster Abbildung auf der Netzhaut eines 
der Augen 304 des Betrachters. 

[0047] Tn Fig. 4 wird gezeigt, wie die Begrenzungspunkte 
einer virtuellen polygonalen Biidflache 401 eingegeben 
werden. In dem skizzierten Beispiel wurde iiber Vorgabe 
von vicr Hckpunkt.cn cine rcchtcckigc Biidflache dcfinicrt. 
Dabei konnen die kartesischen Koordinaten derBildflachen- 
Eckpunkte 404, 405, 406 und 407 an denjenigen Raumposi- 
tionen generiert werden, an denen beispielsweise ein Finger 
einer Hand 408 des Benutzers Oder ein Gegenstand die vir- 
luelle Bildebene 401 beruhrl bzw. schneidet. Durch die 
Pfcilc ist dabci die Bcwcgung des Fingers von cincm Eck- 
punkt zum nachsten Eckpunkt der virtuellen Biidflache an- 
gedeutet. t)ber die virtuellen Schalter bzw. Taster 403 kon- 
nen beispielsweise die Funktionen fur das Fin- bzw. Aus- 
schalten des auf der virtuellen Ausgabeflache 402 darge- 
stellten Bildes, fur das Umsehalten zwischen mehreren In- 
formationskanalcn, fur die Modus- Auswahl zur Einstcllung 35 
von System- und/oder Bildparametern so wie fur das Archiv 
zum Speichern von Ton- und/oder Bildsequenzen gesteuert 
werden. 

[0048] Fig. 5 zeigt den Riickkopplungskreis zwischen 
Mensch und Masehine, der den schemaLischen Hardeware- 40 
aufbau zur Erfassung dcr Eingabc und Steuerung dcr Aus- 
gabe bei einem VRD enthalt. Die uber eine Videokamera 
501 bzw. einen Abstandssensor 502 erhaltenen optischen In- 
foi-mationen des Benutzers werden dabei einer zentralen 
Steuerungseinheit 503 zugefuhrt, in der die Erkennung, In- 45 
lerpretalion und Verarbeilung der In forma lion en erfolgl, 
Nach Auslosung cincr cntsprcchcndcn Aktion werden die 
neu ermittelten bzw. berechneten Daten an die Steuerungs- 
einheit 504 zur Steuerung des VRD weitergeleitet. Dieser 
ubcrnimmt. dann die Ausgabc dcr Text- und/oder Bilddatcn 50 
iiber ein beispielsweise laserbetriebenes VRD 505. Nach 
Aufnahme und Verarbeilung dieser Ausg abed a ten durch den 
mcnschlichcn Bcnutzcr 506 kann dann cine ncuc Rcaktion 
des Benutzers auf den veranderten Is t-Zu stand einsetzen. 
[0049] Die Bedeutung der in den Fig. 1 bis 5 mil ZifTem 55 
bczcichnct.cn Symbol c kann dcr nachfolgcndcn Bczugszci- 
chenliste entnommen werden. 

B ezug s zei c h en 1 i ste 

60 

Nr. Bezeichnung 

101 Design muster cincs Microvi si on- Systems zur Frzcu- 
gung eines "Virtual Retinal Displays" (VRD) 

102 Prinzipdarslellung der Funktionsweise eines VRD-Sy- 
stems 65 

103 Anwendungsbeispiel eines VRD-Systems aus der Sicht 
des Anwenders 
201 Videokamera 
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202 Optischer bzw. akustischer Abslandssensor 

203 Biidflache in dcr virtuellen Bildcbcnc des VRD (virtucl- 
les Sichtf eld bzw. virtuelles Display) 

204 Virluelle Ausgabeflache 
5 205 Bcruhrungsscnsitivc Fingabcflachcn (virtucllc Tast.cn 

bzw. virtuelle Schalter) 

206 z. B. reehies Auge des Benulzers 

207 Auslosung einer Fingabe iiber das VRD durch Beruh- 
rung bzw. DurchstoCung einer beruhrungssensitiven Einga- 

10 beflache durch einen Finger des Benutzers 

301 Videokamera 

302 Optischer bzw. akustischer Abstandssensor 

303 Biidflache in der virtuellen Bildebene des VRD (virtuel- 
les Sichtf eld bzw. virtuelles Display) 

15 304 z. B. rechtes Auge des Benutzers 
305 z. B. rechle Hand des Benutzers 

401 Biidflache in dcr virtuellen Bildcbcnc des VRD (virtuel- 
les Sichtf eld bzw. virtuelles Display) 

402 Virtuelle Ausgabeflache 
20 403 Beriihrungssensitive Eingaheflachen (virtuelle Tasten 

bzw. virluelle Schalter) 

404 Linke obere Ecke der Biidflache des VRD 

405 Rcchtc obcrc Fckc dcr Biidflache des VRD 

406 Rechte untere Ecke der Biidflache des VRD 
25 407 Linke untere Ecke der Biidflache des VRD 

408 z. B. rechte Hand des Benutzers 

501 'Videokamera 

502 Optischer bzw. akustischer Abslandssensor 

503 Zcntralc Steuerungseinheit (CCU) 
30 504 Steuerungseinheit zur Steuerung des VRD 

505 Steuerungseinheit fur ein laserbetriebenes VRD 

506 Perzeption und Verarbeilung der aufgenommenen Infor- 
mation durch den menschlichen Benutzer und Reaktion des 
Benutzers auf die veranderle Sachlage 

Patentanspruche 

1 . Verfahren zur visuellen Darslellung von Objekten 
auf mindestens einem Sichtfeld (203), dadurch ge- 
kennzeichnet, dass mindestens ein dargeslelltes Ob- 
jckt mit Hilfc intcraktivcr Stcucrbcfchlc cincs Benut- 
zers in seinen Eigenschaften und/oder Aktionen mani- 
puliert, gesteuert bzw. beeinflusst werden und/oder die 
Moglichkeit einer Navigation des Benutzers in einer 
dargestellten Szene (204) gegeben ist, wobei die Erfas- 
sung und Verarbeilung der vom Benutzer eingegebenen 
Information mit Hilfc von Mcthodcn dcr Signal- bzw. 
Mustererkennung erfolgt und somit keine zusatzlichen 
manuell bedienbaren, mechanischen bzw. beruhrungs- 
sensitiven Hardware- Vorrichtungcn zur Fingabe von 
Steuerbefehlen benotigt werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeich- 
nct, dass 

a) die interaktiven Steuerbefehle des Benutzers 
mil Hilfe von Sensoren (502) und/oder Aufnah- 
megcraten (501) rcgistricrt werden, 

b) die erfassten Eingabe-Daten einer Auswerte- 
und Sleuerungsvorrichlung (503) zugefuhrl und 
als Steuerbefehle interprel.iert. werden und 

c) die Objekte entsprechend diesen Steuerbefeh- 
len manipulierl bzw. beeinflussi werden oder/und 
cine Aktion ausgclost wird 

d) die manipulierten bzw. beeinftussten Objekte 
oder/und die ausgelosle Aklion auf einem Display 
(204) visualisiert bzw. akustisch und/oder optisch 
angezeigt werden. 

3. Verfahren nach einem der vorhergehenden Ansprii- 
chc, dadurch gckcnnzcichnct, dass cs sich bei den zu 
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steuemden Objeklen um real exislierende Objekle in 
cincr rcalcn Urngcbung handclt. 

4. Verfahren nach Anspruch 1 oder 2, dadurch gekenn- 
zeichnet, dass es sich bei den zu steuemden Objeklen 
um nicht. real cxisticrcndc Objcktc in cincr virtucllcn 5 
Umgebung eines computergesteuerten Modells han- 
dell 

5. Verfahren nach einem der Anspriiche 1 bis 4, da- 
durch gekennzeichnet, dass es sich bei den interaktiven 
SLeuerbefehlen eines Benutzers um akuslische Signale, 10 
wic crwa Sprachkommandos, handclt.. 

6. Verfahren nach einem der Anspriiche 1 bis 5, da- 
durch gekennzeichnet, dass es sich bei der Vorrichtung 
(503) zur Interpretation von Steuerbefehlen um ein au- 
tomatisches Erkennungssystem fur Sprachsignale han- 15 
dell. 

7. Verfahren nach cincm der Anspriiche 1 bis 4, da- 
durch gekennzeichnet, dass es sich bei den interaktiven 
Steuerbefehlen eines Benutzers um optische Signale, 
wie etwa Xorper-, Kopf-, FuB-, Hand- und/oder Finger- 20 
bewegungen, also Gebarden, Gestik und/oder Mimik, 
handelt. 

8. Verfahren nach cincm der Anspruchc 1 his 4 odcr 7, 
dadurch gekennzeichnet, dass es sich bei den Sensoren 
(502) und/oder Aufnahmegeraten (501) zur Registrie- 25 
rung von opt.ischen Signalen des Benutzers um Ab- 
standssensoren und/oder Videokameras handelt 

9. Verfahren nach einem der Anspriiche 1 bis 4, 7 oder 
S, dadurch gekennzeichnet, dass cs sich bei der Vor- 
richtung zur Interpretation von Steuerbefehlen um ein 30 
automatisches Erkennungssystem fur Bewegungssi- 
gnale handelt. 

10. Verfahren nach einem der Anspriiche 1 bis 9, da- 
durch gekennzeichnet, dass es sich bei der Ausgabe- 
vorrichtung 505 zur Darstcllung cincr virtucllcn Umgc- 35 
bung um ein Gerat zur Erzeugung eines sogenannten 
"Virtual Retinal Displays" (VRD) handelt, bei dem ein 
virtuelles Display (203) auf die Netzhaut des Anwen- 
ders projiziert wird. 

1 1 . Verfahren nach einem der Anspriiche 1 bis 4 oder 7 40 
bis 10, dadurch gekennzeichnet, dass Eingabcn ausgc- 
lost werden, wenn ein reales Objekt die Ebene des vir- 
tuellen Displays (401) an einer eingabesensitiven Ha- 
che (403) schneidet hzw. beriihrt. 

12. Verfahren nach einem der Anspriiche 1 bis 4 oder 7 45 
bis 11, dadurch gekennzeichnet, dass die Ennittlung 
des Ab stands zwischen der Ebcnc (303) des virtucllcn 
Displays und der Netzhaut eines der Augen (304) des 
Benutzers bzw. die Begrenzung und raumliche Aus- 
richtung der Flachc (401 ) des virtucllcn Displays durch 50 
die Erkennung von optischen Signalen des Benutzers 
mil. Hilfe eines Abstandssensors (502) sowie einer 
nachgcschaltctcn Auswcncclcktronik (503) vorgenom- 
men wird. 

13. Verfahren nach einem der Anspriiche 1 bis 9, da- 55 
durch gekennzeichnet, dass cs sich bei der Ausgahc- 
vorrichtung (505) zur Darstellung einer virtu ellen Um- 
gebung um ein sogenanntes "Head- Mounted Display" 
(HMD) handelt. 
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